# 爬虫概念：如果我们把互联网比作一张大的蜘蛛网，
# 那一台计算机上的数据便是蜘蛛网上的一个猎物，
# 而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的数据

# 解释：1.通过程序  根据url(http://www.baidu.com)进行爬取网页, 获取有用信息
#   2.使用程序模拟浏览器, 去向服务器发送请求, 获取响应信息

# 二、爬虫核心
# 1.爬取整个网页  包含了网页中所有的内容
# 2.解析数据：将网页中得到的数据进行解析
# 3.难点：爬虫和反爬虫之间的博弈

# 三、爬虫的用途
# 数据分析/人工数据集
# 社交软件冷启动
# 舆情监控
# 竞争对手监控

# 四、爬虫分类
# 1.通用爬虫：
# 实例：百度、360、Google、搜狗等搜索引擎----
# 抓取的数据大多是无用的  不能根据用户需求来精准获取数据
# 2.聚焦爬虫：-------(重点, 我们需要的使用的爬虫类型! )
# 功能：根据需求, 实现爬虫程序, 抓取需要的数据
# 设计思路：
#   1.确定要爬取的url------如何获url
#   2.模拟浏览器通过http协议访问url, 获取服务器返回的html代码-----如何访问
#   3.解析html字符串(根据一定规则提取需要的数据)----如何解析

# 五、反爬手段(必须掌握)
#   1、user-Agent：
#       中文名为用户代理, 简称UA, 他是一个特殊的字符串头,
#       使得服务器能够识别客户使用的操作系统以及版本、CPU类型、
#       浏览器版本、浏览器渲染引擎、浏览器语言、浏览器插件等
#   2、代理IP
#       西次代理
#       快代理
#       什么是高匿名、匿名、和透明代理？ 有什么区别？
#       a、使用透明代理, 对方的服务器可以知道你使用了代理, 并且也知道你的真实IP;
#       b、使用匿名代理, 对方的服务器可以知道你使用了代理, 但不知道你的真实IP;
#       c、使用高匿名代理, 对方的服务器不知道你使用了代理, 更不知道你的真实IP;
#   3、验证码访问
#       打码平台
#           云打码
#           极验验证码智能识别辅助
#           2captcha.com
#           阿里云RPA控制台
#   4、动态加载网页    网页返回的是js数据  并不是网页的真实书记
#       selenium驱动真实的浏览器发送请求
#   5、数据加密
#       分析js代码

